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Beschreibung 

Verfahren unci Vorrichtung 'zur digitalen Bildverarbei- 
tung von CMOS-Kamerabildern 



Die Erfindung betrifft ein Verfahren sowie eine Vor- 
richtung zur digitalen Bildverarbeitung von CMOS- 
Kamerab i 1 de r n . 

Urn Bilder mit Rechnersystemen bearbeiten zu konnen, 
5 mils sen sie in Datenformate umgesetzt werden, die rech- 
nerkompatibel sind. Diese Umsetzung heiSt Digitalisie- 
rung. In der digitalen Bildverarbeitung werden die Ori- 
ginalbilddaten in rechnerkonforme Datenformate trans - 
f ormiert . Sie stehen dann als zwei- oder mehrdimensio- 

10 nale Funktionen fur die Bearbeitung zur Verfiigung. 

Bei der Bildauf nahnie wird eine kontinuierliche Szene 
raumlich diskretisiert . Eine Moglichkeit der mathemati- 
schen Beschreibung von digitalisierten Bilddaten ist 
die Notation als Bildmatrizen. Das Bild S (die Szene S) 

15 ist eine rechteckige Matrix (Bildmatrix) S = (s (x, y) ) 
mit Bildzeilen und Bildspalten, Der Zeilenindex ist x 
und der Spaltenindex ist y. Der Bildpunkt (Pixel) an 
einer Stelle (Zeile, Spalte) = (x, y) besitzt den Grau- 
wert s (x, y) . Es werden also Elementarbereiche der Sze- 

2 0 ne auf je ein Pixel der Bildmatrix abgebildet . Zur Di- 
gitalisierung von Bilddaten ist eine Rasterung und eine 
Quantisiemng notwendig. Bei der Rasterung wird das zu 
digitalisierende Bild durch die Uberlagerung mit einem 
rechteckigen oder quadratischen Gitter in Rasterfla- 

25 chenstiicke unterteilt. Bei der Quantisierung wird jedem 
Rasterf lachenstiick ein Grauwert s (x, y) aus einer Grau- 
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wertmenge G zugewiesen. Die Bestimmung dieses Grauwer- 
tes kann punktuell erfolgen oder durch Mittelung uber 
die Rasterflache. 

Zur Erfassung digitaler Bilddaten werden neben CCD- 
5 Kameras vielfach auch CMOS-Karneras eingesetzt. Diese 
Kameras finden vielf altigen Einsatz in Wissenschaf t und 
Industrie wie z. B . Crashaufnahmen und ' fur die Uberwa- 
chung schneller technischer Ablaufe in der Produktion. 
CMOS- (Complementary Metal Oxide Semiconductor) Kameras 

10 verfugen gegenuber CCD-Bildsensoren uber eine hohe Hel- 
ligkeitsdynamik sowie hohere zulassige Betriebs tempera - 
turen. Die auf die Photodioden der CMOS Kamera eintref- 
fenden Lichtpartikel (Photonen) werden in elektrischen 
Strom umgewandelt. Den lichtempf indlichen Photodioden 

15 sind mehrere Transistoren beigeordnet . Die CMOS- 
Kamerapixel bestimmen ihren Grauwert (Signal) aus dem 
aktuellen Photostrom der Photodioden. Jeder Pixel karm 
einzeln gelesen und ausgewertet werden. Dies ermoglicht 
den wahlfreien Zugriff auf die jeweils interessanten 

20 Bildteile und hat insbesondere Vorteile in der indus- 
triellen Bildverarbeitung . Mit Hilfe von CMOS-Kameras 
konnen sehr hohe Bildraten erzielt werden (extreme 
Zeitlupe) . Die Zugriff szeiten auf einzelne Pixel sind 
dabei naturgemaS sehr kurz, d. h. der aktuelle Photo- 

25 strom hat nur eine sehr kurze Einstellzeit zur Verfu- 
gung . 

Bei hohen Kontrasten und sich bewegenden, bzw. sich 
schnell verandernden Objekten, dominieren vor allem bei 
hohen Bildraten die noch nicht abgeklungenen starken 
30 Strome von ehemals hellen Bildbereichen die jetzt dun- 
kel gewordenen Signalbereiche . Die in der Pixelschal- 
tung enthaltenen /A parasitaren u Kapazitaten (siehe [4] , 
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Kapitel 8.3) bewirken eine zeitliche Verschmierung des 
Pixelsignals . Dieser Effekt wird im Rahmen der vorlie- 
genden Erfindung als „kapazitiver Nachleuchtef f ekt * be- 
zeichnet. Die durch die ublicherweise logarithmische 
5 Darstellung der Werte sehr hohe Grauwertauflosung der 
Kamera ist dadurch stark reduziert, bzw. es werden 
stark f ehlerbehaf tete Werte geliefert. Bewegt sich bei- 
spielsweise ein helles Signal uber einen relativ dunk- 
len Hintergrund, z . B . ein Schweifepunkt uber ein Blech, 

10 so zieht es einen Schweif hinter sich her (vgl . [4], S. 
3 7) . Dieser Schweif uberdeckt den dunkleren Hinter- 
grund. Mochte man z. B. beim SchweiSen eines Bleches 
die Schweifinaht direkt hinter dem SchweiSpunkt kontrol- 
lieren, so muE man warten, bis der Schweif von dem 

15 Nahtstuck verschwunden ist. 

Es gibt mehrere Moglichkeiten, diesen nachteiligen Ef- 
fekt des kapazitiven Nachleuchtens auf die Geschwindig- 
keit der Bildaufnahme zu korrigieren: 

Durch eine maSige Untergrundbeleuchtung kann die Entla- 

2 0 dung von hellen Pixeln deutlich beschleunigt werden. 

Ist die Bewegungsrichtung bekannt, kann ferner bei be- 
stimmten Anwendungen , bei denen die Position von realen 
Objekten oder von projizierten Mustern erfaSt werden 
soil, die Analyse entgegen der Bewegungsrichtung erfol- 
25 gen, d. h. man detektiert den schnellen Wechsel von 

dunkel auf hell. Diese Verfahren eignen sich allerdings 
nur bei bestinimten Anwendungen, wenn beispielsweise die 
Beleuchtung bzw. die gesamte Auf nahmesituation bekannt 
ist bzw. gesteuert werden kann. Die genannten Auswerte- 

3 0 strategien konnen nicht sichtbare Signalanteile aber 

lediglich ignorieren bzw. umgehen, nicht rekonstruie-- 
ren. 
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Die Auswertung von optischen Prozessen wie z. B. fur 
das Abklingen der Temperatur in Warmebildern erfolgt 
mittels mathematischer Modelle. So ist beispielsweise 
aus [3], Fig. 9 die Verwendung einer Dif f erentialglei- 
5 chung (DGL) bekannt . Bei diesem Verf aliren werden die 
physikalischen Bedingungen der Bildauf nahme in einer 
DGL beschrieben und unbekannte Parameter dieser DGL nu- 
merisch geschatzt. Bekannte lokale Schatzverf ahren sind 
hierbei u.a. ^ordinary least squares (OLS) u , „total le- 

10 ast squares (TLS) XA und „ mixed OLS-TLS" [5] , die alle 
eine spezielle Auspragung , der jedem Standardwerk der 
Numerik zu entnehmenden Methode, der kleinsten Quadrate 
sind. Weiterhin sind sogenannte Variations verf ahren mit 
Daten- und Glattheitstermen gebrauchlich (siehe z. B. 

15 [1, 63). 

Die Anwendung entsprechender Modelle fur die Auswertung 
von CMOS - Kamerabildern wurde bisher in der Literatur 
nicht beschrieben. 

2 0 Es ist daher Aufgabe der Erfindung ein Verf ahren und 

eine Vorrichtung zu schaffen # mit dem eine verbesserte 
digit ale Bildverarbeitung von CMOS -Kamerabi Idem mog- 
lich ist. 

25 Ausgehend vom Oberbegriff des Anspruchs 1 wird die Auf- 
gabe erf indungsgemaS gelost, mit den im kennzeichnenden 
Teil des Anspruchs 1 angegebenen Merkmalen. Weiterhin 
wird die Aufgabe ausgehend vom Oberbegriff des An- 
spruchs 9 erfindungsgema.fi gelost, mit den im kennzeich- 

3 0 nenden Teil des Anspruchs 9 angegebenen Merkmalen. 
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Mit dem erf indungsgemafien Verfahren und der Vorrichtung 
ist es nunmehr moglich, eine schnelle und direkte Aus- 
wertung von sich bewegenden Bildem mit hohen Kontras- 
ten zu ermoglichen, ohne daS kapazitive Nachleuchtef - 
5 fekte zu einer verzogerten Auswertung fuiiren. Es wird 
moglich, den aktuellen Photostrom ohne die kapazitiven 
Nachleuchtef fekte, die sich aus physikalischen Griinden 
nicht vermeiden lassen, auszuwerten. Es wird weiterhin 
moglich, hohe dynamische Anderungen von hell nach dun- 
10 kel (hoher Kontraste) z. B. in Hochgeschwindigkeits- 
Aufnahmen zu rekonstruieren. Es wird moglich, Intensi- 
taten mit minimierten Einflussen des Nachleuchtens 
quant i t at iv auszuwerten. 

15 Vorteilhafte Weiterbildungen sind in den Unteranspru- 
chen angegeben. 

Im Folgenden soil die Erfindung beispielhaft beschrie- 
ben werden. 

20 

Der Zusammenhang zwischen Kapazitaten, Photostrom und 
Bilddaten lafit sich fur bewegte Objekte mit Hilfe einer 
in den Grauwerten linearen partiellen Dif f erentialglei- 
chung (1) darstellen, die wie folgend formuliert werden 
2 5 kann : 

dg(X d >y> t) = c(x,y, t)g(x, y> t)+ q(x,y,t) , 
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Dabei gilt: 

g = Grauwert der Bildfolge 

c = Abklingkonstante (normalerweise negativ) 

q = interessierender Quell term (Licht) 

u = lokale (Obj ekt- ) Verschiebung u=(dx/dt, dy/dt) 

Der Grauwert g der Bildfolge stellt die von der CMOS- 
Kamera direkt gelieferten, unkorrigierten Bilddaten 
dar. Sie sind das eigentliche Ausgangssignal . Unter der 
Bezeichnung Ausgangs signal wert ist im Folgenden das ge- 
5 samte durch den Photonenstrom erzeugte MeEsignal g zu 
verstehen. 

Die Abklingkonstante c ist der physikalische Parameter, 
der der Entladungsgeschwindigkeit der Kapazitaten in 
der CMOS-Kamera entspricht. Die aus der Kapazitat zwi- 
10 schen den Auslesevorgangen abgef lossene Ladungsmenge 
wird durch den Ausdruck c*g angegeben. 

Der Quellterm q stellt die zum Zeitpunkt t zuiri Photo- 
strom g hinzukommende Ladung dar. Damit ist q das inte- 
ressierende Zielsignal . 

15 Durch Siibtraktion des Terms c*gr von der zeit lichen An- 
derung des Ausgangs signal wert s g kann der aktuelle Pho- 
tostrom ohne kapazitive Nachleuchtef f ekte, namlich der 
Quellterm q, der im Folgenden als Zielsignalwert be- 
zeichnet wird, bestimmt werden. 

2 0 Eine vorteilhafte Ausgestaltung des Verfahrens ist da- 
durch gekennzeichnet , dafi eine Parameterschatzung 
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durchgefuhrt wird. Dieser Verf ahrensschritt ist fur 
Bilddaten mit hohen Kontrasten besonders geeignet, da 
hier Nachleuchtef f ekte relevant sind. Diese Bereiche 
lassen sich schnell und einfach detektieren, beispiels- 
5 weise mittels des in [1] beschriebenen lokalen Kon- 

trastmaSes, gefolgt von einer Schwellwertsegmentierung . 
Beschrankt man die Parameterschatzung auf diese Berei- 
che, so kann eine erhebliche Beschleunigung der Berech- 
nurig erreicht werden. 

10 Aus der Literatur [3] ist die „ total least squares * 

(TLS) Methode fur die allgemeine Parameterschatzung in 
partiellen Dif f erentialgleichungen dieses Typs bekannt . 
Sie eignet sich beispielsweise dazu, diese Parameter- 
schatzung durchzuf uhren . Auch andere, zum Teil oben ge- 

15 nannte, bekannte Parameterschatzverf ahren wie z. B. die 
„ordinary least squares (OLS) u oder die „Mixed OLS-TLS" 
und/oder Variationsmethoden sind fur diese Schatzung 
geeignet . 

In einer vorteilhaf ten Ausgestaltung des Verfahrens 
2 0 laSt sich der Quellterm q mit Hilfe einer Parameter- 
schatzung wie z. B durch die Methode der „total least 
squares" [3] aus den originalen Ausgangssignalwerten 
bestimmen. Hierzu wird die oben angegebene Differenti- 
algleichung (1) verwendet . Aus dem Ausgangs signal g 
2 5 werden dabei mittels diskreter Faltungen mit Ablei- 

tungskernen die raum-zeit lichen Ableitungen von g be- 
stimmt. Diese und alle bereits z. B. aus Kalibrier- 
schritten oder Auf nahmebedingungen bekannten Parameter 
werden in (1) eingesetzt. Aus dem so entstandenen Glei- 
30 chungssystem wird q-(x, y, t) per Parameterschatzung er- 
mittelt . 
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Eine vorteilhafte Ausgestaltung des erf indungsgemafien 
Verfahrens ist dadurch gekennzeichnet , daS die Abkling- 
konstante c ebenfalls durch Parameterabschatzung be- 
st itnmt we r den kann. 

5 Eine vorteilhafte Ausgestaltung des erf indungsgemaEen 
Verfahrens ist dadurch gekennzeichnet, daS die Abkling- 
konstante c durch vorherige Kalibration der CMOS-Kamera 
bestimmt werden kann. Sie rnufi dann nicht mehr durch Pa- 
rameter schatzung bestimmt werden. Dadurch wird eine Be- 

10 schleunigung des Verfahrens ermoglicht. Die Abklingkon- 
stante c ist unter genugend konstanten Betriebsbedin- 
gungen eine nur von der Kamera abhangige, zeitlich 
nicht variable GroSe, d.h. a = c(x, y) . Bei guter Homo- 
genitat der Pixel ist c = const. Die Abklingkonstante c 

15 laSt sich daher auch offline in einem Kalibrierungs- 
schritt berechnen. 

Eine vorteilhafte Ausgestaltung des erfindungsgemaSen 
Verfahrens ist dadurch gekennzeichnet , da£ die Objekt- 
bewegung u ebenfalls durch Parameterschatzung bestimmt 
2 0 werden kann. Bereits bekannte Ob j ektbewegungen mussen 
nicht geschatzt werden. Die Parameter u x und u y konnen 
dann in die Dif f erentialgleichung (1) eingesetzt wer- 
den. Die Parameterschatzung wird dadurch vereinfacht 
und beschleunigt . 

25 Eine vorteilhafte Ausgestaltung des Verfahrens ist da- 
durch gekennzeichnet, da£ das erf indungsgemaSe Verfah- 
ren mit Hilfe von FPGA^s (Field Programmable Gate Ar- 
rays) implement iert wird. Beschrankt man die Ausgangs- 
signalwerte auf nicht zu groSe Bildausschnitte , so wird 
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es moglich, Bildraten von mehreren Bildern pro Sekunde 
zu erreichen. 

Die Erfindung betrifft weiterhin eine Vorrichtung zur 
5 digitalen Bildverarbeiturig in CMOS Kamerabildern, 

dadurch gekennzeichnet, daS sie fur die Durchfuhrung 
des erfindungsgemafien Verfahrens geeignet ist . 
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Patentanspruche 



1. Verfahren zur digitalen Bildverarbeitung in CMOS- 
Kame r ab i 1 de m , 
dadurch gekennzeichnet, 
5 daS die zeitlichen Anderungen der Ausgangssignal- 

werte g sich aus dem Term c*g und dern Quellterm g 
zusammense t zen und die Berechnung der Zielsignal- 
werte q die Subtraktion des Terms c*g von der zeit- 
lichen Anderung des Ausgangs signal werts g der Bild- 
10 da ten umf aSt . 

2 . Verfahren nach Anspruch i , 
dadurch gekennzeichnet , 

daJS fur Bereiche von Bilddaten mit hohen Kontrasten 
eine Parameterschatzung durchgefuhrt wird* 

15 3. Verfahren nach einem der Anspruche 1 bis 2, 
dadurch gekennzeichnet, 

daS zur Parameterschatzung die „ total least 
squares" (TLS) , ^ordinary least squares" (OLS) , 
„ Mixed OLS-TTiS" und/oder Variationsmethoden verwen- 
2 0 det werden. 

4. Verfahren nach einem der Anspruche 1 bis 3, 
dadurch gekennzeichnet, 

daS die Abklingkonstante c und/oder die Objektver- 
schiebung u durch Parameterschatzung aus den Bild- 
2 5 daten bestimmt wird . 



Verfahren nach einem der Anspruche 1 bis 4, 
dadurch gekennzeichnet, 
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7. 

15 8. 
9. 
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dafi die Abklingkonstante c durch Kalibration der 
Kamera bestimmt wird. 

Verfahren nach einem der Anspruche 1 bis 5, 

dadurch gekennzeichnet, 

da£ die Dif f erentialgleichung (1) 

mit 

5r = Grauwert der Bildfolge 

u = Objektverschiebung (Verschiebungsvektorf eld) 
c = Abklingkonstante 

qr = interessierende Quellterm (Licht) 
verwendet wird. 



Verfahren nach einem der Anspruche 1 bis 6, 
dadurch gekennzeichnet, 

da£ bekannte Ob j ektbewegungen u x und u y direkt in 
die Dif f erentialgleichung (1) eingesetzt werden. 

Verfahren nach einem der Anspruche 1 bis 7 , 
dadurch gekennzeichnet, 

dag Field Programmable Gate Arrays (FPGA^s) imple- 
mentiert werden. 

Vorrichtung zur digitalen Bildverarbeitung in CMOS- 

Kamerab i 1 dern , 

dadurch gekennzeichnet, 

dafi sie fur die Durchfuhrung des Verfahrens gemafi 
Anspruch 1 bis 8 geeignet ist. 
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